跳到主要内容

LAPA:从无动作视频里学潜动作预训练

论文:Latent Action Pretraining from Videos(KAIST / UW / Microsoft,NeurIPS 2024)。LAPA 想解决的问题是机器人数据太贵:Open X-Embodiment 汇总了 100 万条轨迹,但每条都是人在实机上遥操作出来的。相比之下 YouTube 上有几十亿分钟人做操作任务的视频,但这些视频没有动作标签,机器人不知道人手在每一帧到底做了什么位移和旋转。LAPA 的做法是:先在无动作视频上无监督地学一套"潜动作",用潜动作做 VLA 的预训练,最后用少量真实机器人数据微调把潜动作对齐到真实动作。

1. 为什么需要潜动作​

先想一个更直接的方案:能不能用视觉里程计或者手部姿态估计(MediaPipe 之类)从视频里直接反推动作?可以,但有两个问题:

  • 人手和机器人夹爪形态不一样。人手 21 个关节的动作直接映射到 6 自由度夹爪需要一个非平凡的重定向管线,误差会累积。
  • 视觉里程计对遮挡和视角变化敏感,噪声大。

LAPA 换了个思路:不显式估计动作是什么,而是让模型自己学一套"能解释相邻两帧变化的抽象符号"。这套抽象符号就叫潜动作。它不必对应物理动作,只要满足"给当前帧和潜动作能预测下一帧"就行。之后再用少量真实机器人数据学一个"潜动作 → 真实动作"的映射就够了。

这个思路来源于 Genie(Google DeepMind 2024)用潜动作做世界模型,LAPA 把它用到 VLA 预训练上。

2. 三阶段流程​

阶段 1: 无监督学潜动作            阶段 2: VLA 预训练               阶段 3: 微调到真实动作
────────────────── ────────────────── ─────────────────────
无动作视频 → VQ-VAE 视频 + 语言 → VLA 机器人示范 → VLA
学离散潜动作码本 预测下一步潜动作 潜动作头替换成真实动作头

阶段 1:用 VQ-VAE 学潜动作​

VQ-VAE 是一个把连续表征量化到离散码本的自编码器。LAPA 训的是一个"逆动力学"结构的 VQ-VAE:

  • 输入:相邻两帧图像 (It,It+1)(I_t, I_{t+1})
  • 编码器:预测一个离散潜动作 zt∈{1,2,...,K}z_t \in \{1, 2, ..., K\}(KK 是码本大小,LAPA 用 8)
  • 解码器:给 ItI_t 和 ztz_t,重建 It+1I_{t+1}

训练目标是重建损失加上 VQ 常规的 codebook loss。学完之后,ztz_t 就是"能解释 It→It+1I_t \to I_{t+1} 变化"的一个符号——它可能对应"手向右移动"或者"夹爪张开",但没有显式的语义标签。

为什么码本只用 8?作者做过消融,8 已经能拿到最好效果,扩到 32、64 反而变差。原因大概是码本太大会让下一阶段 VLA 的动作预测空间过于稀疏,训不动。

数据来源是 Something-Something V2(人做操作的第一视角视频,22 万条)加上 Ego4D 的一部分。

阶段 2:VLA 预训练​

在阶段 1 学好潜动作码本之后,可以给任意视频的每一步打上潜动作标签。这样视频就变成"图像 + 语言 + 潜动作"的三元组,跟 RT-2 的训练数据格式几乎一样,只不过动作是潜动作 token。

LAPA 基于 Prismatic-7B(也是 OpenVLA 用的骨干),在潜动作数据上做自回归 next-token 训练。潜动作码本大小 8,一个动作块预测 4 步,所以模型每次生成 4 个潜动作 token。

阶段 3:微调到真实动作​

预训练完的 VLA 只会输出潜动作,还不能直接控制机器人。第三阶段把潜动作输出头替换成真实动作头(沿用 OpenVLA 的 256 bin 离散化),用少量真实机器人数据(几千条轨迹)微调。

关键假设是阶段 2 已经让模型的"视觉理解 + 时序建模"能力对齐到操作任务的分布,第三阶段只需要重新学一个动作头,微调数据可以很少。

3. 实验结果​

LIBERO 仿真上的少样本对比​

给不同数量的真实机器人示范,微调后测成功率:

示范数OpenVLA(无预训练)LAPA
1022%51%
5041%68%
全量(500)78%79%

少样本下 LAPA 明显好,全量下持平。这个曲线是 LAPA 定位的核心证据:当真实机器人数据稀缺时,无动作视频预训练能补上一大截。

跨形态泛化​

LAPA 用人手视频做预训练,然后微调到 WidowX 机械臂。人手和 WidowX 夹爪形态完全不同,但潜动作是从视频视觉学的,不绑定具体形态。实验里跨形态微调的样本效率显著高于从零训练。

消融​

去掉阶段 2 预训练(直接从阶段 1 的 VQ-VAE 权重微调到真实动作):性能掉到接近 OpenVLA 从零训练。说明潜动作的价值不在编码器,而在"VLA 在潜动作上做了大规模预训练"这件事本身——预训练教会了模型"看到某种视觉变化 → 应该输出某种动作"的一般化对应关系。

4. 局限​

潜动作码本只有 8 个符号,表达能力有限。对精细双臂协调(比如折衣服)这种需要区分很多细粒度动作的任务,8 个符号可能不够——论文没有在这类任务上评估。

VQ-VAE 从相邻两帧学潜动作,预测的是短时程的变化,长时程动作分块的建模还是靠阶段 2 的 VLA 骨干。如果两帧之间人手切换了子任务,潜动作会退化成噪声。

阶段 3 微调的时候要把动作头彻底换掉,等于阶段 2 的动作预测层白学。作者也讨论了这一点:可以看作"用潜动作作为辅助任务预训练视觉和时序表征",动作头只是训练手段。

5. 在 VLA 谱系里的位置​

LAPA 和 GR-1、GR-2 这条"用视频预训练机器人模型"的线是一脉相承的:

  • GR-1:用视频预测下一帧的原始像素/MAE 特征做预训练
  • LAPA:用视频预测下一步潜动作做预训练
  • GR-2:视频预测 + 潜动作两条路都做

LAPA 的贡献是证明了"离散潜动作 + 自回归 VLA 训练"这条路能省真实数据。这个思路后来被 π0.5、GR-2 部分吸收。

代码见 LatentActionPretraining/LAPA。